max rank | avg. rank | sentence |
---|---|---|
199 | 74.6000 | Але без цього не можна. |
234 | 122.2857 | Це проект розвитку культури, проект розвитку міста. |
245 | 129.3333 | Якщо так, то в яких саме? |
257 | 151.8333 | 10 червня: мінлива хмарність, без опадів. |
257 | 130.7500 | 3 травня в Києві мінлива хмарність, без опадів. |
278 | 156.6000 | 2 липня: мінлива без опадів. |
312 | 125.7500 | Нагадаємо, сьогодні вночі у м. Чернівці по вул. |
386 | 204.8333 | 25 квітня: мінлива хмарність, без опадів. |
424 | 168.0000 | В тому числі з української. |
466 | 241.8000 | Якщо так, то яким чином? |
473 | 147.0000 | “Про внесення змін до Закону України “Про інформацію”” |
493 | 210.0000 | 24 червня: мінлива хмарність, без опадів. |
496 | 245.7143 | 16 лютого: мінлива хмарність, без істотних опадів. |
496 | 240.5714 | 27 лютого: мінлива хмарність, без істотних опадів. |
496 | 235.7143 | 27 червня: мінлива хмарність, без істотних опадів. |
496 | 219.0000 | 5 липня: мінлива хмарність, без істотних опадів. |
496 | 231.4286 | 6 липня: мінлива хмарність, без істотних опадів. |
496 | 139.0000 | У Києві - без істотних опадів. |
501 | 229.7500 | Сьогодні він не працює. |
547 | 258.5714 | 28 червня: мінлива хмарність, без істотних опадів. |
547 | 219.0000 | 28 червня: мінлива хмарність, без опадів. |
557 | 194.3333 | США або на кілька доларів більше. |
563 | 295.5000 | Вони не можуть знайти собі роботу. |
567 | 248.1111 | Протягом року проведено більш ніж 5 тисяч різних заходів. |
579 | 252.6667 | 15 лютого: мінлива хмарність, вночі місцями невеликий сніг, вдень без істотних опадів. |
579 | 225.7273 | 22 червня: мінлива хмарність, вночі без опадів, вдень місцями невеликий дощ. |
610 | 281.5714 | Серед них – майже 10 тисяч українців. |
644 | 235.1667 | 29 червня: мінлива хмарність, без опадів. |
657 | 188.1667 | А тепер проекту навіть не має. |
679 | 191.7500 | 10 липня в Києві мінлива хмарність, без опадів, вітер північно-західний, 5-10 м/с. |
The maximum word rank of a sentence is by definition the rank of the rarest word in the sentence. If it is low, all words in the sentence are of high frequency. For this reason the table of the sentences with least maximum word number might be of interest. In the table, we see the corresponding sentences with a minimum length of 40 characters.
The over all distribution of the maximum rank in all sentences of the corpus is shown in a diagram with log-scaled x-axis.
The sentences in the table described above are of interest because they are usually easy to understand. The distribution may give insights into the corpus and may give parameters for language comparison.
While the distribution might be deduced from a small corpus, the sentences in the table are rare and a large corpus will give more impressive results.
Table data:
select max(w_id)-100 as m, avg(w_id)-100 as a, s.sentence from sentences s, inv_w i where s.s_id=i.s_id and length(sentence)>40 and i.w_id>100 group by s.s_id order by m limit 30;
Distribution data;
select m, count(*) from (select 100* round((max(w_id)-100)/100) as m from sentences s, inv_w i where s.s_id=i.s_id and i.w_id>100 group by s.s_id) aa group by m;
Explain the distribution, especially the increase in its right part.
4.5.2.2 Average word rank in sentence
4.5.2.3 Sentences consisting of many low frequency words I
4.5.2.4 Sentences consisting of many low frequency words II
4.5.2.5 Sentences consisting of short words only I
4.5.2.6 Sentences consisting of short words only II
4.5.2.7 Sentences consisting of long words only I
4.5.2.8 Sentences consisting of long words only II